John Gotti sinh ra tại South Bronx vào ngày 27 tháng 10 năm 1940. Trong khi cha mẹ của anh đều sinh ra ở Mỹ, tổ tiên của ông đến từ San Giuseppe Vesuviano, thuộc tỉnh Naples.[2]. Ông là người thứ năm trong số mười ba con của John Joseph Gotti, Sr. và vợ, John Sr. Philomena (gọi tắt là Fannie),[2][3] và là một trong năm anh em, trở thành thành viên gia đình Gambino:[4] Eugene "Gene" Gotti bắt đầu trước John do John bị tống giam,[5] Peter Gotti tham gia dưới sự lãnh đạo của John vào năm 1988,[6] và Richard V. Gotti đã được xác định là một trưởng nhóm (capo) vào năm 2002.[4] Người thứ năm, Vincent, bắt đầu vào năm 2002.[7]

Gotti lớn lên trong nghèo đói. Cha ông làm việc không thường xuyên, đi làm như một người lao động kiếm việc mỗi ngày và đam mê cờ bạc. Khi trưởng thành, John Gotti oán giận cha mình vì đã không thể nuôi sống gia đình ông.[3] Ở trường, Gotti đã có thành tích trốn học và bắt nạt các học sinh khác, và cuối cùng đã bỏ học ở tuổi 16.[8][9]

Gotti đã tham gia vào các băng nhóm đường phố có liên hệ với mafia ở thành phố New York từ lúc 12 tuổi.[8] Khi ông 14 tuổi, ông đã tìm cách ăn cắp một máy trộn xi măng từ một công trường xây dựng, nhưng nó đã rơi, nghiền ngón chân của ông; vết thương này làm ông bị khập khễnh vĩnh viễn.[8] Sau khi rời trường học, ông dành hết thời gian của mình để làm việc với băng đảng cũng có liên hệ với Mafia, Fulton-Rockaway, nơi ông gặp và kết bạn với Angelo Ruggiero và Wilfred "Willie Boy" Johnson, hai người mà sau này cũng trở thành thành viên của gia đình Gambino.[8][10]

Gotti đã gặp người vợ tương lai của mình, Victoria DiGiorgio, vào năm 1958.[11] Họ có đứa con đầu tiên vào tháng 4 năm 1961, một người con gái tên là Angel,[11][12] và đã kết hôn vào ngày 06 tháng 3 năm 1962.[13] Họ có thêm bốn trẻ em: một người con gái (Victoria) và ba người con trai (John, Frank (sinh 18 Tháng 10 1967, chết 18 Tháng Ba năm 1980), và Peter..). Gotti đã cố gắng để làm việc hợp pháp vào năm 1962 như là một người cai thợ trong một nhà máy sản xuất áo khoác và là một tài xế phụ xe vận tải. Tuy nhiên, ông không thể giữ mình không phạm tội, và vào năm 1966, đã bị bỏ tù hai lần.